자기지도학습 (Self-Supervised Learning)
자기지도학습(Self-Supervised Learning, SSL)은 데이터 자체에서 정답(Label)을 생성하여 모델을 학습시키는 머신러닝 기법으로, 명시적인 외부 레이블 없이 데이터의 내재적 구조를 통해 표현 학습(Representation Learning)을 수행하는 방법론이다.
1. 개요
자기지도학습은 사람이 직접 레이블을 달아주는 지도학습(Supervised Learning)의 막대한 비용 문제와, 전통적인 비지도학습(Unsupervised Learning)의 군집화나 차원 축소 방식으로는 달성하기 어려웠던 '의미론적 표현 학습'의 한계를 극복하기 위해 정립된 패러다임이다. 학술적으로 SSL은 비지도학습의 하위 집합이자 이를 구현하는 구체적인 방법론으로 간주된다.
핵심 개념은 데이터의 일부를 가리거나 변형시킨 뒤, 원래의 상태를 예측하게 함으로써 데이터가 가진 고유한 특징(Feature)을 스스로 학습하게 하는 것이다. 이를 통해 모델은 특정 작업(Task)에 종속되지 않은 범용적인 데이터 표현력을 갖추게 되며, 이후 적은 양의 레이블 데이터만으로도 높은 성능을 내는 전이 학습의 기반이 된다.
2. 작동 원리 및 메커니즘
자기지도학습의 핵심은 프리텍스트 태스크(Pretext Task)의 설계에 있다. 프리텍스트 태스크란 모델이 데이터의 일반적인 특징을 배울 수 있도록 인위적으로 만든 '가짜 정답' 기반의 학습 과제를 의미한다.
2.1 학습 프로세스
- 데이터 변형: 입력 데이터의 일부를 마스킹(Masking)하거나, 회전, 자르기 등의 변형을 가한다.
- 의사 레이블(Pseudo-label) 생성: 변형 전의 원본 데이터나 변형된 상태 자체를 정답으로 설정한다.
- 특징 추출: 모델은 정답을 맞히기 위해 데이터의 문맥, 구조, 상관관계를 학습한다.
- 표현 학습: 학습이 완료되면 프리텍스트 태스크를 위한 출력층은 제거하고, 학습된 인코더(Encoder)의 가중치만을 활용한다.
2.2 학습 방식 비교
| 구분 |
지도학습 (Supervised) |
전통적 비지도학습 (Unsupervised) |
자기지도학습 (Self-Supervised) |
| 데이터 요구사항 |
레이블링된 데이터 (Labeled) |
레이블 없는 데이터 (Unlabeled) |
레이블 없는 데이터 (Unlabeled) |
| 정답(Label) 출처 |
외부 전문가 (Human Annotator) |
없음 (데이터 분포 기반) |
데이터 자체에서 생성 (Pseudo-label) |
| 학습 목표 |
특정 클래스 분류/값 예측 |
데이터 군집화/차원 축소 |
데이터의 일반적 표현 학습 |
| 주요 한계 |
막대한 레이블링 비용 발생 |
의미론적 특징 추출의 한계 |
적절한 프리텍스트 태스크 설계 필요 |
3. 주요 학습 전략
자기지도학습은 크게 데이터를 복원하는 방식과 데이터 간의 관계를 비교하는 방식으로 나뉜다.
3.1 생성적 방식 (Generative Approach)
데이터의 일부를 손실시킨 후 이를 원래대로 복구하는 방식이다.
- 원리: 입력 데이터 $X$에서 일부를 제거한 $X'$를 만들고, $X' \rightarrow X$로 복원하는 함수를 학습한다.
- 대표 사례: 오토인코더(Autoencoder), Masked Autoencoder(MAE).
- 특징: 데이터의 세부적인 픽셀이나 토큰 수준의 정보를 학습하는 데 유리하다.
3.2 대조적 방식 (Contrastive Approach)
유사한 데이터는 가깝게, 서로 다른 데이터는 멀게 배치하도록 학습하는 방식이다.
- 원리: 하나의 이미지에 서로 다른 두 가지 변형(Augmentation)을 가해 '긍정 쌍(Positive Pair)'을 만들고, 다른 이미지와는 '부정 쌍(Negative Pair)'을 구성하여 거리 함수를 최적화한다.
- 대표 사례: SimCLR, MoCo, CLIP.
- 특징: 데이터의 고수준(High-level) 시맨틱 정보를 추출하는 데 매우 효율적이다.
[참고] SimCLR vs MoCo 비교
| 비교 항목 |
SimCLR |
MoCo (Momentum Contrast) |
| 부정 쌍 관리 |
동일 배치 내의 다른 샘플 활용 |
큐(Queue) 구조의 메모리 뱅크 활용 |
| 배치 사이즈 |
매우 큰 배치 사이즈 필요 (성능 직결) |
상대적으로 작은 배치에서도 작동 가능 |
| 인코더 구조 |
동일한 인코더 사용 |
쿼리 인코더 $\leftrightarrow$ 모멘텀 인코더 (EMA 업데이트) |
| 핵심 특징 |
단순하고 직관적인 대조 학습 구조 |
일관된 부정 샘플 풀 유지로 효율성 증대 |
4. 프리텍스트 태스크의 종류
데이터 도메인에 따라 다양한 프리텍스트 태스크가 설계된다.
- 자연어 처리 (NLP)
- Masked Language Modeling (MLM): 문장 속 일부 단어를 가리고 주변 문맥을 통해 예측.
- Next Sentence Prediction (NSP): 두 문장이 연속된 문장인지 여부를 판별.
- Causal Language Modeling: 이전 단어들을 통해 다음 단어를 예측.
- 컴퓨터 비전 (CV)
- Rotation Prediction: 이미지를 0도, 90도, 180도, 270도 회전시킨 후 회전 각도를 예측.
- Jigsaw Puzzle: 이미지를 격자로 나누어 섞은 뒤 원래 위치를 맞춤.
- Colorization: 흑백 이미지로 변환 후 원래의 색상을 예측.
- Image Inpainting: 이미지의 일부 영역을 지우고 원래 내용을 복원.
5. 주요 활용 사례 및 모델
5.1 도메인별 대표 모델
- NLP: BERT(MLM 활용), GPT(Causal LM 활용) 등이 대표적이며, 거대 언어 모델(LLM)의 사전 학습 단계인 'Next Token Prediction'은 가장 성공적인 SSL 사례이다.
- CV: MAE(Masked Autoencoder)는 이미지의 75% 이상을 마스킹하고 복원하며 강력한 특징을 학습하며, DINO는 자기-증류(Self-distillation) 방식을 통해 레이블 없이 객체 경계를 인식한다.
5.2 구현 예시 (의사코드)
아래는 대조 학습(Contrastive Learning)의 핵심인 InfoNCE Loss의 개념적 구조를 나타낸 의사코드이다.
# PyTorch 기반 의사코드
import torch
import torch.nn.functional as F
def contrastive_loss(query, positive_key, negative_keys, temperature=0.07):
"""
Simplified InfoNCE Loss implementation
query: (batch_size, dim)
positive_key: (batch_size, dim)
negative_keys: (batch_size, num_negatives, dim)
"""
# 1. 긍정 쌍 간의 유사도 계산 (Cosine Similarity)
# pos_sim shape: (batch_size,)
pos_sim = F.cosine_similarity(query, positive_key) / temperature
pos_exp = torch.exp(pos_sim)
# 2. 부정 쌍 간의 유사도 계산 및 합산
# query를 확장하여 모든 negative_keys와 유사도 계산
# neg_sim shape: (batch_size, num_negatives)
neg_sim = torch.bmm(query.unsqueeze(1), negative_keys.transpose(1, 2)).squeeze(1) / temperature
neg_exp_sum = torch.sum(torch.exp(neg_sim), dim=1)
# 3. 손실 함수 계산: 긍정 유사도를 높이고 부정 유사도 합을 낮춤
# loss = -log( exp(pos) / (exp(pos) + sum(exp(neg))) )
loss = -torch.log(pos_exp / (pos_exp + neg_exp_sum))
return loss.mean()
6. 다운스트림 태스크 전이 학습 (Downstream Task Transfer Learning)
자기지도학습의 진정한 가치는 사전 학습(Pre-training)된 모델을 특정 목적의 다운스트림 태스크(Downstream Task)에 적용할 때 나타난다.
- 사전 학습 (Pre-training): 방대한 양의 레이블 없는 데이터로 SSL을 수행하여 범용적인 특징 추출기(Feature Extractor)를 구축한다.
- 전이 (Transfer): 학습된 가중치를 가져와 타겟 태스크의 모델 초기값으로 설정한다.
- 미세 조정 (Fine-tuning): 소량의 레이블링된 데이터를 사용하여 특정 작업(예: 질병 진단, 감성 분석)에 맞게 가중치를 미세하게 조정한다.
- 선형 프로빙 (Linear Probing): 인코더의 가중치는 고정(Freeze)하고 마지막 출력층(Linear Layer)만 학습시켜 표현력의 품질을 측정한다.
7. 성능 비교 및 분석
최신 SSL 기법들은 지도학습 모델의 성능에 근접하거나, 데이터가 극도로 부족한 상황(Few-shot)에서 이를 압도하는 성능을 보인다.
7.1 벤치마크 성능 비교 (ImageNet-1K 기준 예시)
| 모델 |
학습 방식 |
데이터셋 |
Linear Probing Accuracy |
비고 |
| ResNet-50 (Supervised) |
지도학습 |
ImageNet-1K |
76.1% |
기준 모델 |
| SimCLR |
Contrastive |
ImageNet-1K |
72.0% $\rightarrow$ 75.0% |
배치 사이즈에 민감 |
| MoCo v3 |
Contrastive |
ImageNet-1K |
76.4% |
큐(Queue) 구조 활용 |
| MAE |
Generative |
ImageNet-1K |
77.0% $\rightarrow$ 80%+ |
ViT 기반, 고효율 |
| DINO |
Self-distillation |
ImageNet-1K |
75.0% $\rightarrow$ 78% |
객체 분할 능력 탁월 |
8. 장점 및 한계점
8.1 장점
- 데이터 효율성: 사람이 직접 레이블링할 필요가 없어 데이터 수집 비용이 획기적으로 감소한다.
- 범용적 표현 학습: 특정 태스크에 과적합(Overfitting)되지 않고 데이터의 본질적인 구조를 학습하므로 다양한 작업에 전이가 가능하다.
- 확장성: 인터넷상의 방대한 비정형 데이터(텍스트, 이미지, 오디오)를 모두 학습에 활용할 수 있다.
8.2 한계점
- 태스크 설계의 난이도: 데이터의 특성을 잘 반영하는 프리텍스트 태스크를 설계하는 것이 매우 어렵다. 잘못 설계할 경우 무의미한 특징(Shortcut)만을 학습할 수 있다.
- 모델 붕괴 (Model Collapse): 특히 대조 학습에서 모든 입력에 대해 동일한 상수 벡터를 출력하여 손실 함수를 최소화하려는 현상이 발생할 수 있다. 이를 방지하기 위해 Stop-gradient, Predictor network 도입, Clustering 기반의 정규화 기법 등이 사용된다.
- 계산 자원 소모: 대규모 배치 사이즈나 메모리 뱅크가 필요하며, 생성적 방식은 복원 과정에서 많은 연산량이 요구된다.
- 평가 지표의 부재: 학습 과정 중에 모델이 얼마나 잘 학습되고 있는지 판단할 명확한 지표(Metric)가 부족하여, 결국 다운스트림 태스크에서 검증해야 하는 번거로움이 있다.
9. 향후 전망 및 발전 방향
자기지도학습은 단순한 기법을 넘어 파운데이션 모델(Foundation Models)의 핵심 엔진으로 자리 잡고 있다. 최근의 연구 트렌드는 다음과 같다.
- LLM의 근간, Next Token Prediction: 현대의 거대 언어 모델(LLM)은 다음 토큰을 예측하는 단순한 SSL 구조를 통해 방대한 지식을 습득하며, 이는 SSL이 범용 인공지능으로 가는 핵심 경로임을 증명하고 있다.
- Masked Image Modeling (MIM)의 확장: MAE의 성공 이후, 이미지의 일부를 가리고 복원하는 MIM 방식이 ViT(Vision Transformer)와 결합하여 컴퓨터 비전의 표준 사전 학습 방식으로 자리 잡고 있다.
- 멀티모달 SSL (Multimodal SSL): 텍스트와 이미지를 동시에 학습하는 CLIP과 같이, 서로 다른 도메인의 데이터를 연결하여 더 고차원적인 이해도를 갖춘 모델을 구축하는 방향으로 발전하고 있다.
- 월드 모델 (World Model): 인간이 세상을 배우듯, 물리적 법칙이나 인과 관계를 스스로 학습하여 미래 상태를 예측하는 모델을 통해 AGI(인공일반지능)에 접근하려는 시도가 이어지고 있다.
- 효율적 아키텍처: 연산 비용을 줄이면서도 성능을 유지하는 효율적인 마스킹 전략 및 토큰화 기법 연구가 활발히 진행 중이다.
# 자기지도학습 (Self-Supervised Learning)
자기지도학습(Self-Supervised Learning, SSL)은 데이터 자체에서 정답(Label)을 생성하여 모델을 학습시키는 머신러닝 기법으로, 명시적인 외부 레이블 없이 데이터의 내재적 구조를 통해 표현 학습(Representation Learning)을 수행하는 방법론이다.
## 1. 개요
자기지도학습은 사람이 직접 레이블을 달아주는 지도학습(Supervised Learning)의 막대한 비용 문제와, 전통적인 비지도학습(Unsupervised Learning)의 군집화나 차원 축소 방식으로는 달성하기 어려웠던 '의미론적 표현 학습'의 한계를 극복하기 위해 정립된 패러다임이다. 학술적으로 SSL은 비지도학습의 하위 집합이자 이를 구현하는 구체적인 방법론으로 간주된다.
핵심 개념은 데이터의 일부를 가리거나 변형시킨 뒤, 원래의 상태를 예측하게 함으로써 데이터가 가진 고유한 특징(Feature)을 스스로 학습하게 하는 것이다. 이를 통해 모델은 특정 작업(Task)에 종속되지 않은 범용적인 데이터 표현력을 갖추게 되며, 이후 적은 양의 레이블 데이터만으로도 높은 성능을 내는 전이 학습의 기반이 된다.
## 2. 작동 원리 및 메커니즘
자기지도학습의 핵심은 **프리텍스트 태스크(Pretext Task)**의 설계에 있다. 프리텍스트 태스크란 모델이 데이터의 일반적인 특징을 배울 수 있도록 인위적으로 만든 '가짜 정답' 기반의 학습 과제를 의미한다.
### 2.1 학습 프로세스
1. **데이터 변형**: 입력 데이터의 일부를 마스킹(Masking)하거나, 회전, 자르기 등의 변형을 가한다.
2. **의사 레이블(Pseudo-label) 생성**: 변형 전의 원본 데이터나 변형된 상태 자체를 정답으로 설정한다.
3. **특징 추출**: 모델은 정답을 맞히기 위해 데이터의 문맥, 구조, 상관관계를 학습한다.
4. **표현 학습**: 학습이 완료되면 프리텍스트 태스크를 위한 출력층은 제거하고, 학습된 인코더(Encoder)의 가중치만을 활용한다.
### 2.2 학습 방식 비교
| 구분 | 지도학습 (Supervised) | 전통적 비지도학습 (Unsupervised) | 자기지도학습 (Self-Supervised) |
| :--- | :--- | :--- | :--- |
| **데이터 요구사항** | 레이블링된 데이터 (Labeled) | 레이블 없는 데이터 (Unlabeled) | 레이블 없는 데이터 (Unlabeled) |
| **정답(Label) 출처** | 외부 전문가 (Human Annotator) | 없음 (데이터 분포 기반) | 데이터 자체에서 생성 (Pseudo-label) |
| **학습 목표** | 특정 클래스 분류/값 예측 | 데이터 군집화/차원 축소 | 데이터의 일반적 표현 학습 |
| **주요 한계** | 막대한 레이블링 비용 발생 | 의미론적 특징 추출의 한계 | 적절한 프리텍스트 태스크 설계 필요 |
## 3. 주요 학습 전략
자기지도학습은 크게 데이터를 복원하는 방식과 데이터 간의 관계를 비교하는 방식으로 나뉜다.
### 3.1 생성적 방식 (Generative Approach)
데이터의 일부를 손실시킨 후 이를 원래대로 복구하는 방식이다.
- **원리**: 입력 데이터 $X$에서 일부를 제거한 $X'$를 만들고, $X' \rightarrow X$로 복원하는 함수를 학습한다.
- **대표 사례**: 오토인코더(Autoencoder), Masked Autoencoder(MAE).
- **특징**: 데이터의 세부적인 픽셀이나 토큰 수준의 정보를 학습하는 데 유리하다.
### 3.2 대조적 방식 (Contrastive Approach)
유사한 데이터는 가깝게, 서로 다른 데이터는 멀게 배치하도록 학습하는 방식이다.
- **원리**: 하나의 이미지에 서로 다른 두 가지 변형(Augmentation)을 가해 '긍정 쌍(Positive Pair)'을 만들고, 다른 이미지와는 '부정 쌍(Negative Pair)'을 구성하여 거리 함수를 최적화한다.
- **대표 사례**: SimCLR, MoCo, CLIP.
- **특징**: 데이터의 고수준(High-level) 시맨틱 정보를 추출하는 데 매우 효율적이다.
#### [참고] SimCLR vs MoCo 비교
| 비교 항목 | SimCLR | MoCo (Momentum Contrast) |
| :--- | :--- | :--- |
| **부정 쌍 관리** | 동일 배치 내의 다른 샘플 활용 | 큐(Queue) 구조의 메모리 뱅크 활용 |
| **배치 사이즈** | 매우 큰 배치 사이즈 필요 (성능 직결) | 상대적으로 작은 배치에서도 작동 가능 |
| **인코더 구조** | 동일한 인코더 사용 | 쿼리 인코더 $\leftrightarrow$ 모멘텀 인코더 (EMA 업데이트) |
| **핵심 특징** | 단순하고 직관적인 대조 학습 구조 | 일관된 부정 샘플 풀 유지로 효율성 증대 |
## 4. 프리텍스트 태스크의 종류
데이터 도메인에 따라 다양한 프리텍스트 태스크가 설계된다.
* **자연어 처리 (NLP)**
* **Masked Language Modeling (MLM)**: 문장 속 일부 단어를 가리고 주변 문맥을 통해 예측.
* **Next Sentence Prediction (NSP)**: 두 문장이 연속된 문장인지 여부를 판별.
* **Causal Language Modeling**: 이전 단어들을 통해 다음 단어를 예측.
* **컴퓨터 비전 (CV)**
* **Rotation Prediction**: 이미지를 0도, 90도, 180도, 270도 회전시킨 후 회전 각도를 예측.
* **Jigsaw Puzzle**: 이미지를 격자로 나누어 섞은 뒤 원래 위치를 맞춤.
* **Colorization**: 흑백 이미지로 변환 후 원래의 색상을 예측.
* **Image Inpainting**: 이미지의 일부 영역을 지우고 원래 내용을 복원.
## 5. 주요 활용 사례 및 모델
### 5.1 도메인별 대표 모델
- **NLP**: **BERT**(MLM 활용), **GPT**(Causal LM 활용) 등이 대표적이며, 거대 언어 모델(LLM)의 사전 학습 단계인 'Next Token Prediction'은 가장 성공적인 SSL 사례이다.
- **CV**: **MAE**(Masked Autoencoder)는 이미지의 75% 이상을 마스킹하고 복원하며 강력한 특징을 학습하며, **DINO**는 자기-증류(Self-distillation) 방식을 통해 레이블 없이 객체 경계를 인식한다.
### 5.2 구현 예시 (의사코드)
아래는 대조 학습(Contrastive Learning)의 핵심인 InfoNCE Loss의 개념적 구조를 나타낸 의사코드이다.
```python
# PyTorch 기반 의사코드
import torch
import torch.nn.functional as F
def contrastive_loss(query, positive_key, negative_keys, temperature=0.07):
"""
Simplified InfoNCE Loss implementation
query: (batch_size, dim)
positive_key: (batch_size, dim)
negative_keys: (batch_size, num_negatives, dim)
"""
# 1. 긍정 쌍 간의 유사도 계산 (Cosine Similarity)
# pos_sim shape: (batch_size,)
pos_sim = F.cosine_similarity(query, positive_key) / temperature
pos_exp = torch.exp(pos_sim)
# 2. 부정 쌍 간의 유사도 계산 및 합산
# query를 확장하여 모든 negative_keys와 유사도 계산
# neg_sim shape: (batch_size, num_negatives)
neg_sim = torch.bmm(query.unsqueeze(1), negative_keys.transpose(1, 2)).squeeze(1) / temperature
neg_exp_sum = torch.sum(torch.exp(neg_sim), dim=1)
# 3. 손실 함수 계산: 긍정 유사도를 높이고 부정 유사도 합을 낮춤
# loss = -log( exp(pos) / (exp(pos) + sum(exp(neg))) )
loss = -torch.log(pos_exp / (pos_exp + neg_exp_sum))
return loss.mean()
```
## 6. 다운스트림 태스크 전이 학습 (Downstream Task Transfer Learning)
자기지도학습의 진정한 가치는 사전 학습(Pre-training)된 모델을 특정 목적의 **다운스트림 태스크(Downstream Task)**에 적용할 때 나타난다.
1. **사전 학습 (Pre-training)**: 방대한 양의 레이블 없는 데이터로 SSL을 수행하여 범용적인 특징 추출기(Feature Extractor)를 구축한다.
2. **전이 (Transfer)**: 학습된 가중치를 가져와 타겟 태스크의 모델 초기값으로 설정한다.
3. **미세 조정 (Fine-tuning)**: 소량의 레이블링된 데이터를 사용하여 특정 작업(예: 질병 진단, 감성 분석)에 맞게 가중치를 미세하게 조정한다.
4. **선형 프로빙 (Linear Probing)**: 인코더의 가중치는 고정(Freeze)하고 마지막 출력층(Linear Layer)만 학습시켜 표현력의 품질을 측정한다.
## 7. 성능 비교 및 분석
최신 SSL 기법들은 지도학습 모델의 성능에 근접하거나, 데이터가 극도로 부족한 상황(Few-shot)에서 이를 압도하는 성능을 보인다.
### 7.1 벤치마크 성능 비교 (ImageNet-1K 기준 예시)
| 모델 | 학습 방식 | 데이터셋 | Linear Probing Accuracy | 비고 |
| :--- | :--- | :--- | :--- | :--- |
| **ResNet-50 (Supervised)** | 지도학습 | ImageNet-1K | 76.1% | 기준 모델 |
| **SimCLR** | Contrastive | ImageNet-1K | 72.0% $\rightarrow$ 75.0% | 배치 사이즈에 민감 |
| **MoCo v3** | Contrastive | ImageNet-1K | 76.4% | 큐(Queue) 구조 활용 |
| **MAE** | Generative | ImageNet-1K | 77.0% $\rightarrow$ 80%+ | ViT 기반, 고효율 |
| **DINO** | Self-distillation | ImageNet-1K | 75.0% $\rightarrow$ 78% | 객체 분할 능력 탁월 |
## 8. 장점 및 한계점
### 8.1 장점
- **데이터 효율성**: 사람이 직접 레이블링할 필요가 없어 데이터 수집 비용이 획기적으로 감소한다.
- **범용적 표현 학습**: 특정 태스크에 과적합(Overfitting)되지 않고 데이터의 본질적인 구조를 학습하므로 다양한 작업에 전이가 가능하다.
- **확장성**: 인터넷상의 방대한 비정형 데이터(텍스트, 이미지, 오디오)를 모두 학습에 활용할 수 있다.
### 8.2 한계점
- **태스크 설계의 난이도**: 데이터의 특성을 잘 반영하는 프리텍스트 태스크를 설계하는 것이 매우 어렵다. 잘못 설계할 경우 무의미한 특징(Shortcut)만을 학습할 수 있다.
- **모델 붕괴 (Model Collapse)**: 특히 대조 학습에서 모든 입력에 대해 동일한 상수 벡터를 출력하여 손실 함수를 최소화하려는 현상이 발생할 수 있다. 이를 방지하기 위해 Stop-gradient, Predictor network 도입, Clustering 기반의 정규화 기법 등이 사용된다.
- **계산 자원 소모**: 대규모 배치 사이즈나 메모리 뱅크가 필요하며, 생성적 방식은 복원 과정에서 많은 연산량이 요구된다.
- **평가 지표의 부재**: 학습 과정 중에 모델이 얼마나 잘 학습되고 있는지 판단할 명확한 지표(Metric)가 부족하여, 결국 다운스트림 태스크에서 검증해야 하는 번거로움이 있다.
## 9. 향후 전망 및 발전 방향
자기지도학습은 단순한 기법을 넘어 **파운데이션 모델(Foundation Models)**의 핵심 엔진으로 자리 잡고 있다. 최근의 연구 트렌드는 다음과 같다.
- **LLM의 근간, Next Token Prediction**: 현대의 거대 언어 모델(LLM)은 다음 토큰을 예측하는 단순한 SSL 구조를 통해 방대한 지식을 습득하며, 이는 SSL이 범용 인공지능으로 가는 핵심 경로임을 증명하고 있다.
- **Masked Image Modeling (MIM)의 확장**: MAE의 성공 이후, 이미지의 일부를 가리고 복원하는 MIM 방식이 ViT(Vision Transformer)와 결합하여 컴퓨터 비전의 표준 사전 학습 방식으로 자리 잡고 있다.
- **멀티모달 SSL (Multimodal SSL)**: 텍스트와 이미지를 동시에 학습하는 CLIP과 같이, 서로 다른 도메인의 데이터를 연결하여 더 고차원적인 이해도를 갖춘 모델을 구축하는 방향으로 발전하고 있다.
- **월드 모델 (World Model)**: 인간이 세상을 배우듯, 물리적 법칙이나 인과 관계를 스스로 학습하여 미래 상태를 예측하는 모델을 통해 AGI(인공일반지능)에 접근하려는 시도가 이어지고 있다.
- **효율적 아키텍처**: 연산 비용을 줄이면서도 성능을 유지하는 효율적인 마스킹 전략 및 토큰화 기법 연구가 활발히 진행 중이다.